Les invariants polynômes de la représentation 
coadj ointe de groupes inhomogènes 

par : Mustapha RAIS (Poitiers) 



Introduction 

Récenimcnt Akaki TIKARADZE m'a posé diverses questions sur le centre ZU{p) de l'algèbre 

enveloppante U{p) d'algèbres de Lie p = qxV, produits semi-directs d'une algèbre de Lie g par 

p 

un espace vectoriel V , relativement à une représentation linéaire p de g dans V. A isomorphisme 
d'algèbres près (l'isomorphisme de Duflo), on peut se contenter d'examiner l'algèbre Y{p) des 
invariants de p dans l'algèbre symétrique S{p) de p (i.e. dans l'algèbre des fonctions polyno- 
miales sur l'espace vectoriel p* des formes linéaires sur p). Il se trouve que les algèbres de Lie 
p auxquelles s'intéressait A. Tikaradze ont donné lieu à plusieurs travaux anciens et récents. 
Le lecteur trouvera ci-dessous dans plusieurs notes bibliographiques des indications précises sur 
certains de ces travaux, en particulier ceux de Hitoshi KANETA ([Ka-1] et [Ka-2]) et de Dmitri 
PANYUSHEV ([Pa]). On trouvera dans les bibliographies des articles de Kaneta et de Panyushev 
une liste de travaux portant sur ces questions, que je n'ai pas consultés et que je m'excuse de ne 
pas citer. 

Le but de ce texte, qui ne prétend pas à une grande originalité, est d'expliciter pour certaines 
algèbres d'invariants dans S{p), un système de générateurs. 



Notations : 

- Le corps de base est C. L'espace vectoriel V est C", identifié à l'espace M„_i des matrices 
colonnes, son dual V* est identifié à l'espace Mi^„ des matrices lignes. 

- Lorsque x est une matrice carrée de taille n, on note pi{x), . . . ,pn{x) les coefficients du 
polynôme caractéristique écrit sous la forme : 

det{tin~x) = r p^(^) 

et Bq, Bi, . . . , Bn-i les gradients respectifs de pi, . . . ,p„ calculés au moyen de la forme trace : 
triBk{x)y) - pk+i{x + ty) [y G Af„(C)). 

Les expressions explicites des B^ sont les suivantes : 
Bçi{x) = /„ 

Bu{x) = X^-pi{x)x^-^ Pk{x)In (l<fc<n-l) 

Les cas traités ici sont ceux des groupes "inhomogènes" : 

SL{n) X C" = ISL{n), 0{n) x C" = 10{n), 



1 



SO{n) X C" = ISO{n) 

et celui du groupe : 

GL{n) X (y © V*) {p{g).{u, v*) = {g.u, v*g-^) 
p 

qui est très peu différent d'une Z2-contraction au sens de Panyushev et qui est utilisé dans [Ti] . 
1 Le cas ISL{n) 

1.1. Au préalable, on revient sur le groupe affine de C" : ^ = G x C", avec G = GL{n) et 

p 

p{g).u = g.u, dont la représentation coadjointe a été étudiée en détail dans [Ra-1]. L'algèbre de 

Lie a = gx V", (oii g = g£{n)), est d'indice zéro et l'algèbre Y' (a) engendrée par les semi-invariants 

p 

de A dans S(a) est engendrée par un polynôme /, dont on rappelle l'expression ci-dessous. 

Pour cela, on identifie o* à l'espace vectoriel g x V* : un couple {y,v*) dans g x V* définit 
sur la forme linéaire i telle que, pour tout {x, u) dans o : 

< £, {x, u) >= tr{yx) + v*u 

{oh v*u est le produit matriciel, et v*u = tr{uv) si on préfère). 

L'algèbre Y' {a) est C[/], où / est défini comme un déterminant de n vecteurs lignes : 

fiy, V*) = det{v*B„-M, v*Bn-2{y), ...,v*) 

pour tout {y,v*) dans a*, et on a, lorsque {g,u) G A : 

f{Ad*ig,u).{y,v*)) = [det g)-^f{y,v*). 

Tout ceci est démontré dans [Ra-1] {cf. en cas de besoin les numéros 2.15, 3.7 et 3.8). 



1.2. On s'intéresse maintenant aux covariants $ : 
miales $ telles que : 

^{Ad*{g,u).£)=^{l)g-^ 
On définit n fonctions en posant : 

^k{y,v*) = v*Bk{y) 



a* — > y*, c'est-à-dire aux fonctions polyno- 
{{g,u)&A, £ea*). 

(0 < < n - 1) 



Lemme : ([Ra-1], 4.6) 

L'espace vectoriel des covariants $ : o* — >■ V* est de dimension n et ($o, • • • , ^n-i) est 
une base. 

1.3. Soit P = ISL{n) le sous-groupe de A constitué par les couples {g,u) avec : det g = 1. Son 

algèbre de Lie p s'identifie à la sous-algèbrc de Lie de a constituée par les couples (y, v*) tels que 
tr{y) = 0, de sorte que p = [a, a] est l'algèbre dérivée de a. D'après [Ra-1] (n°3.10), l'algèbre 
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Y{p) est C[7], où / est la restriction de / à p*, p* étant identifié au sous-espace sl{n) x V* de 
a*. 

1.4. Note bibliographique : 

L'étude du groupe ISL{n) apparaît dans un article de Hitoshi Kaneta ([Ka-1]). L'auteur 
introduit un sous-espace vectoriel de dimension n de p*, noté f), qui est l'espace des {y, v*) avec : 

y = axE2i-\ V an-i En,n-i-, v*=bel 

où (Eij) est la base canonique de Q£{n), e* = (0, ...,0,1), (ai, . . . , a„_i, 6) G C", définit une 
fonction polynôme t sur f) : 

t{aiE2i + ■■■ + a„_i En,n-i,ben) = ( \[ ^1)^" 

l<k<n-l 

et énonce le : 

Théorème : ([Ka-1], Theorem 1) 

L'application de restriction de Y{p) dans l'ensemble des polynômes sur f) est un homomor- 
phisme d'algèbres injectif, dont l'image est C[t]. 

On constate alors que t n'est autre que la restriction de / à [). La contribution de [Ra- 
1] consiste donc en l'expression explicite, en fonction des coordonnées naturelles {y,v*), du 
générateur de Y{p) dont la restriction à f) est t. On notera que [Ra-1] date de 1978, alors que 
[Ka-1] date de 1984. 



2 Le cas GL{n) x {V ® V*) 
p 

2.1. Ici aussi, on pose GL{n) = G et g£(n) = g ; la représentation p est la somme directe de la 
représentation naturelle de G dans V et de sa représentation duale dans V* : 

p{g).{u,v*) = {g.u, v*g-^) 

On notera B le groupe considéré, b son algèbre de Lie, et b* le dual de b. Comme espace 

vectoriel, on a: b = q x V x V* , avec le crochet qui définit le produit semi-direct qx {V (BV*) : 

p' 

[{x, 0, 0), (0, u, V*)] = (0, x.u, -v*x) 

p' {x).{u,v*) — {x.u,—v*x) 

Comme espace vectoriel, on a : b* = g x y* x F ; un élément {y, w*,^,) de qxV* xV définit 
la forme linéaire £ sur b, telle que, pour tout {x,u,v*) dans b : 

< £, {x, u, V*) > = tr{yx) + w*u + 1;*^ 

On identifie G au sous-groupe G x (0, 0). Lorsque g G G, on a alors : 

AdB{9)-{x,u,v*) = {gxg~^,g.u,v*g~^) 

Ad%{g).{y,w*,^) = {gyg-\w*.g-\g.Cl 
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2.2. L'application {g, u) i — > (g, u, 0) identifie le groupe A qui a fait l'objet du n° 1 ci-dessus, à 

un sous-groupc de i?, ce qui induit une identification de l'algèbre de Lie a à la sous- algèbre de b 
constituée par les triplets {x,u,0), et de même le dual a* au sous-espace de b* constitué par les 
{y,w*,0). 

Ceci étant, on constate que B est le produit semi-direct de A par V*, relativement à la 
représentation linéaire ô de A dans V* : 

ô{g,u).v* = v*g~'^ 

et que b est le produit semi-direct de l'algèbre de Lie o par V* relativement à la représentation 
linéaire 5' de o dans V* avec : 

(5'(x, u).v* = —v*x. 

L'indice de la représentation S' est zéro et l'application de la formule de l'indice ([Ra-2]) 
montre que l'indice de l'algèbre b est n. 

On utilisera les résultats de [Ra-1], dont certains ont été rappelés ci-dessus, pour déterminer 
de façon explicite un système de générateurs de Y[p). 



2.3. Dans o*, l'orbite coadjointe ouverte est l'ensemble fl des {y, w*) tels que f{y, w*) 0. Parmi 
les formes régulières sur a, on a privilégié la forme £o = {J, e* ), oii e* = (0, . . . , 0, 1) et J est la 
matrice nilpotente (principale) définie par : 

— U, — Cl, ... , e„ J — e^_i 

{{el, . . . , e*) est la base naturelle de C" = Mi^„). Le stabilisateur de io dans A est trivial ([Ra-1], 
3.2) et l'application bijective orbitale T : A — > O (^(<i) = Ad'\{a).£o) admet une application 
réciproque qui a été déterminée explicitement ([Ra-1], 3.8). 

On note l'ouvert Q x V de b* . Soit £ = (y, w*,Ç) dans f2. L'unique élément {g,u) de A tel 
que Ad\{g, u).i = £q est tel que : 

g = L{w*Bn-i{y), w*B„_2(y), • • • , w*) 

oii on a mis en évidence les lignes de g. Précisément : 

elg = w*Bn-i{y), e^g = w*Bn-2{y), ...,e'^g = w* 

Soit F : b* — > C unej'onction invariante sous l'action coadjointe de B dans b*. Lorsque 
{y, w*,^) = £ appartient à Ô, on a donc : 

F{1) = F{Adl{g,u).£) = F{J,el,g.i) 

oh g est la matrice explicitée ci-dessus, de sorte que g.Ç est le vecteur colonne dont les coordonnées 
dans la base canonique (ei, 62, . . . , e„) sont : w* Bn-i{y)^, w* Bn-2{y)i, ■ ■ ■ , w*^- Précisément : 

g-^ = ^{w*Bn-k{y)-Oek 
k 



2.4. Proposition : 

1. Les fonctions Fk : b* — > C définies par 

Fk{y,w*,0 = w*Bk{y)^ (0 < fc < n - 1) 

sont des fonctions (polynomiales) Ad* (B)-invariantes sur b*, algébriquement indépen- 
dantes. 

2. Y{b) = C[Fo, . . . , Fn-i] est l'algèbre de polynômes engendrée par : Fq, . . . , F„_i. 
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DÉMONSTRATION : 

1. - Les fonctions Fk sont liées aux covariants définis dans 1.2 de la manière suivante : 

Fk{y,w*,0=^k{y,w*)^ 
Lorsque (<?, u) est un élément de A, on a : 

Fk{Ad*s{9,u).{y,w*,0) = Fk{{Ad\{g,u).iy,w*), gO 

= ^kiAd\ig,u).{y,w*)).gi 
= ^k{y,w*)g-'^g^ 
= Fk{y,w*,^) 

Ainsi les Fk sont j4d^(A)-invariantes. Pour montrer qu'elles sont Ad* (-B)-invariantes, il 
reste à prouver que : 

Fkiy + (v*,w*,0 = Fk{y,w*,0 
pour tout V* dans V*, ou encore que : 

Bk{y + ^v*)^ = Bk{y)^ {v*gV*) 

On constate alors que ces égalités résultent immédiatement des égalités : v*Bk{y + uv*) = 
v*Bk{y) démontrées dans ([Ra-1], 4.5). 

- Par ailleurs : FkiJ.e* .^) = e*Bk{J)^ = e*,/'=^ = ^n-k (avec : Efe^efc = 0- Ceci montre 
que les Fk sont algébriquement indépendantes. 

2. Soit F : b* — * C une fonction polynomiale Ad* (i?)-invariante et soit F : V — > C définie 
par : 

m=F{J,el,0 i^GV) 
La fonction F est polynomiale et : 

F{y,w*,0 = P{Yl Fk{y,w*,Ç)e^-k) 

k 

pour tout (î/,w*,^) dans Ô, donc pour tout {y,w*,^) dans b*. 

2.5. Soit ^ dans O. Le stabilisateur de (. dans A, i.e. n A, est trivial. L'orbite sous A de 

i.e. Ad'^{A).£, est de codimension n dans b*. Donc £ est une forme régulière sur b. Il est s ?r qu'il 
existe d'autres formes régulières sur b, par exemple les £ = {y,w*,v) telles que les vecteurs : 

v,Bi{y)v,...,Bn-i{y)v 

soient linéairement indépendants. La détermination de toutes les formes régulières reste à faire. 

2.6. Soit TT : il — > V définie par : 

^n—k 

k 
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Il est facile de voir que 7r(^i) = ^(£2) si et seulement si ii et £2 sont ^rf^(A)-conjugués. Autrement 

dit : fi est un A-fibrc principal. De plus, lorsque £ € fi, on a : {Ad*g{B).£) n O = Ad*g{A).£ 
(l'orbite sous A de £ est un ouvert de l'orbite (coadjointe) sous B de £). 

2.7. L'algèbre S{b)^ des invariants de g = Q£{n) dans S{b) est connue {cf. [Ra-1], n° 5.6). C'est 
l'algèbre engendrée par les 2n fonctions (de y,w*,^) : 

ou, ce qui revient au même, par les fonctions : 

Pl,P2, ■ ■ ■ ,Pn,Fo,Fi, . . .,Fn-l. 

On voit alors que le centralisateur (ou le commutant) de g dans l'algèbre enveloppante U{b) de 
b, est engendré comme algèbre par la réunion du centre de U{q) et du centre deU{b). Il est donc 
commutatif (voir [Ra-3] pour des résultats de ce type). 

2.8. Il est possible de trouver une autre expression des Fk. Pour cela, on s'intéresse aux matrices 

I V v\ 

carrées X de taille {n + 1), qu'on écrit sous la forme : X = ) , avec y dans gi{n), v dans 



w a j 

V, w* dans V* et a dans C. On peut alors ([Ra-3], n° 1.3, formules (1 ;6)) calculer le polynôme 
caractéristique de X, et on trouve : 

Pi{X) = pi{y) + a 

Pk+2{X) = pk+2{y) - apk+i{y) + w* Bk{y)v (0 < fc < n - 2) 

Pn+i{X) = -apn{y) + w* Bn-i{y)v 

On a donc : 



Fk{y,w*,0 = Pk+2[[^. Q))-pfc+2(î/) (0<fc<n-2) 



F„_i{y,w*,£,) = p„+i\ 



y V 
w* 



2.9. Note bibliographique : 



La décomposition : = a) ^ \y* Oj '^^ ^^^^ algèbre de Lie 

symétrique : 

Q£{n + 1) = flo e 01, 00 = Q£{n) x C = | |, = 

à laquelle est associée l'algèbre de Lie É = 0o x gi, produit semi-direct de l'algèbre de Lie go par le 
00-module gi. On se reportera à [Pa] pour une étude complète des algèbres de Lie de ce type (les 
Z2-contractions des algèbres de Lie réductives), l'algèbre de Lie î définie ci-dessus en étant un 




6 



exemple. En particulier, Panyushev donne un procédé pour trouver un système de générateurs 

de l'algèbre Y{i'), t' étant une Z2-contractcc, et ce procédé est visible dans les formules (1 ;6) 
de [Ra-3] réécrites ci-dessus pour l'algèbre de Lie b. Toutefois, il faut signaler que b ne coïncide 
pas avec ê. L'application M : b — > É définie par : 

est un monomorphisme d'algèbres de Lie dont l'image est un idéal de codimension 1 dans É. 
2.10. Remarque : 

Suivant la démonstration de 2.4, on voit qu'on a le résultat suivant : Toute fonction numérique 
continue sur b*, qui est Ad*g{A)-urvaiia,nte, est automatiquement yl(i*(i?)-invariante. 

_ Concernant les fonctions généralisées, on peut montrer qu'une fonction généralisée sur l'ouvert 
Ô, qui est localement A-invariante, est automatiquement localement S-invariante. 



3 Les cas IO{n) et ISO{n) 

3.1. On considère ici les groupes C — IO{n) et C° = ISO{n), précisément : C = 0{n) x C", 

p 

C° = SO{n) X C", (avec p{g).u — g.u dans les deux cas). L'algèbre de Lie commune à ces deux 
p 

groupes est c — so{n) x C". Les invariants dans 5(c) sous l'action coadjointe de C et de C°, 
p' 

notés respectivement J et Y{c), sont a priori distincts, avec J C Y{c). On montrera plus bas que 
J = Y{c) lorsque n est pair, et que par contre lorsque n est impair, Y{c) est un J-module de 
rang 2. 

3.2. On peut identifier c à une sous-algèbre de Lie de l'algèbre de Lie b du numéro précédent, au 
moyen de l'application 7 : c — > b, définie par : j{x,u) = {x,u, — *w) (ici et ailleurs *X désigne 
la transposée de la matrice X). Le dual c* s'identifie alors au sous-espace de b* constitué par les 
formes linéaires £ = {y,w*,^), avec y dans so(n), et Ç = — *îz;*, de sorte qu'on peut parler de la 
restriction à c* des fonctions définies dans b*. On a en particulier : 

Fk{y,w*,-'w*) = -w*Bk{yYw* 

Lorsque k est impair, la matrice Bk{y) est antisymétrique, et par suite, la restriction de Fk à c* 
est nulle. On est amené à considérer les fonctions ipk '■ c* — > C définies par : 

My, w*) = -w*B2k{yfw* (0 < fc < [|]) 

(ici et ailleurs, [Ç] est la partie entière de Ç). 

3.3. Remarques 

1. Soit 6 : b — > b l'application linéaire définie par : 

9{x,u,v*) = -{*x,*v*,*u) {x,u,v*) e b 
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qui n'est autre que l'opposoc de la transposition des matrices lorsqu'on identifie les {x, u, v*) 
dans b aux matrices ( ^ ^ 1 (de taille (n + 1)). On vérifie que 6 est un automorphisme 
d'ordre 2 de l'algèbre de Lie b, et il est visible que 7(c) est l'espace des points fixes de 6. 

2. Soit J\f le sous-groupe de Ad*{B) qui normalise c* C b*. On vérifie que Af est l'ensemble 
des Adg{g,u, — avec g dans 0(n) et u dans V, et que l'image de M dans GL{c*) qui 
en résulte coïncide avec Ad*{C). 



3.4. Lemme : Les fonctions VP/t sont Ad* (C) -invariantes. 

L'invariance des fonctions '^k résulte immédiatement de celle des fonctions Fk sous l'action 
coadjointe de B, et de la remarque (2) ci-dessus. 



3.5. Note bibliographique : 

Dans [Ka-2] , Kaneta construit un sous-cspace vectoriel [) de c* , essentiellement : [) = [)o x C e* , 
où f)o est un tore maximal de so{n — 1) (so(n — 1) étant plongé naturellement, "en haut et à 
gauche", dans so{n)). Explicitement (après complexification) 



1)0 = {z 



( 



-ai 



ai 




\ 





ai 

0/ 



(ai, a2, . . . , ai) G C^}, lorsque n = 2l+l 



ho = {'< 



1 ° 


ai 











-ai 






















ai 












-at 














. 


. 











V 


. 


. 








0/ 



(ai, a2, . ..,ai) & C^}, lorsque n = 2^ -|- 2 



Il est facile de voir que l'opération de restriction à f| des fonctions polynômes appartenant à F(c) 
est un monomorphisme d'algèbres dans l'algèbre des fonctions polynômes sur f) (cf. Lemma 3.5 
dans [Ka-2], où le corps de base est R). Ceci étant, Kaneta définit des fonctions ipo, ifi, . ■ . ,ip( 
sur f), de la manière suivante : 

ipkiz, ae*) = a^(Jk{al, • • • , a|) (0 < fc < £ - 1) 
ipi{z, ae* ) = aaia2 ■ ■ - ai lorsque n = 2£ + 1 

<P({z, ae*) = a'^ae{al, . . . , a|) lorsque n = 2^ -|- 2 

où CTfc (0 < < £) est la fc^^™® fonction symétrique élémentaire (uo = 1) i 
et démontre le : 
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Théorème (Theorem 2 dans [Ka-2]) 

La C-algèbre Y{c) est isomorphe, via l'application de restriction ^ i — > Vif); à la C-algèbre 
C[(po, . . . ,(p£\. Les polynômes ipo,(pi,. . . , (pg, sont algébriquement indépendants. 



3.6. Proposition : Lorsque n = 2£ + 2, l'algèbre J des invariants de IO{n) dans S{c) coïncide 
avec Y{c) et : 



DÉMONSTRATION : Lorsque (z,ae*) appartient à ï), il vient : 

■ipkiz.ae*^) = a'^ak{a\,...,al) = ipkiz.ae*^) 

Comme les Vfe sont ^d* (JO (n))-invariantes, on voit que Y{c) C J. Par suite, les invariants de 
ISO{n) coïncident avec les invariants de IO{n). 



3.7. Supposons n = 2£ + l. Comme vu plus haut, les fonctions (po,(pi,. . . , (fe-i, sont les restric- 
tions à f) des fonctions /0(n)-invariantes tpo, . . . ,tpe-i- Par contre, est la restriction à ï) de la 

fonction ijj£. 

Soit g — {où l2e est la matrice unité de taille 2i). On a : Ad*{g,0).{z,ae'!^) = 

{z, — ae*), de sorte que : 

<Pk{Ad*{g, 0).(z, oO) = ^k{z, fO (0 < A; < £ - 1) 
ipe{Ad*{g,0).{z,ae*J) = -<fe{z,ae*J 

Par suite : 

y(c) = c[^o,...,^^-i,$] 

oii $ est l'unique polynôme dans Y{c) tel que : $|(, = ipe. 



3.8. Il reste à expliciter le polynôme Comme : 

= tlJe{y,w*) = -w*B2e{yYw* 

on voit que ^'^(y.w*) = detY , avec Y = { \^ ^ j. Donc $ coïncide, au signe près, avec le 

pfaffien Pf{Y) de la matrice Y (de taille (2£ + 2)). 

Ici, il est peut-être utile de faire le lien avec ce qui est appelé "le pfafhen vectoriel" pf : 
so{2£ + 1) — > C^^+^ dans ([Ra-3], n°2.6). Il s'agit d'un covariant polynomial qui est lié au 
pfaffien scalaire, de la manière suivante : 

-w(.) = p/(j. -'f) 

et : Pfigyg-') = {detg)g.pf{y) (g e 0{2£ + 1)). 
Ainsi, l'invariant "exotique" $ est, au signe près : 

^{y,w*) = w*pf{y). 



9 



3.9. Note bibliographique : 

Dans [Pa], les invariants polynômes pour les Z2-réductions notées 

(fl) 0o) = (so(n + m), so(m) ® so(n)) 

sont déterminés (Theorem 4.4) par une méthode générale. Le cas ISO{n) étudié ci-dessus en est 
un exemple. 

3.10. Remarques : 

1. Comme dans 2.8, il est possible d'avoir d'autres expressions pour les polynômes Vfeî du 
type : 

4>k{y,w*) = P2k+2{Y) - P2k+2{y) 



avec : Y = 




, et il est possible d'en déduire que le commutant de so{n) dans 



l'algèbre enveloppante de c est commutatif (cf. [Ra-3], formules (1 ;7) et n° 2.6). 

2. Compte-tenu de ce qui précède, l'algèbre J des invariants de IO{n) est l'image de Y{b) par 
l'opération de restriction à c* des fonctions polynomiales sur b*. Ainsi J est un quotient 
de Y {h). Il est probable qu'il y ait une explication "conceptuelle" à ce fait. 
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